package TestSparkConversionOperator;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.Arrays;
import java.util.List;

public class SparkUnion {
    /**
     * 将两个结构一样（RDD类型、元素类型等要一致）的RDD合并为一个新的RDD。结构不一样的不能合并。
     * 需要注意的是，该操作不进行去重。
     * @param args
     */
    public static void main(String[] args) {
        SparkConf sparkConf = new SparkConf().setAppName("Operator2").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(sparkConf);

        JavaRDD<Integer> rdd1 = sc.parallelize(Arrays.asList(9, 9, 10, 10));
        JavaRDD<Integer> rdd2 = sc.parallelize(Arrays.asList(8, 8, 7, 7));

        JavaRDD<Integer> union = rdd1.union(rdd2);
        List<Integer> res = union.collect();
        for (Integer i : res){
            System.out.println(i);
        }


    }
}
